package rddSummary.transition.value_type

import org.apache.spark.{SparkConf, SparkContext}

object test_mappartitions {
  def main(args: Array[String]): Unit = {

    val conf = new SparkConf().setAppName("test").setMaster("local")
    val context = new SparkContext(conf)

    val dates = context.makeRDD(List(1, 2, 3, 4))

    /**
     * 将待处理的数据以分区为单位发送到计算节点进行处理，这里的处理是指可以进行任意的处
     * 理，哪怕是过滤数据。
     */
    val mapPRDD = dates.mapPartitions(
      x => {
        x.filter(y => y==2)
//        x.filter(_==2)
      }
    )
    mapPRDD.collect().foreach(println)

    context.stop()
  }

}
